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(57) Abstract 

Disclosed is a metliod for classifying samples wlieiein die information content of a sample is divided up into two information 
areas. The fasi area contains necessary information and tlie second area contains sufficient information. An initially imprecise preselection 
concerning a plurality but extremely limited number of classes is made through the necessary information area. After said preselection, 
identification occurs with the sufficient information area in order to pinpoint the initially imprecise preselection in relation to an effective 
target class. This enables classification quality to be improved by means of new classifiers or new principal formulations of classification 
formulations. 



(57) Zusammenfassung 

Vorgeschlagen wird ein Verfahren zum Klassifizieien von Mustem, bei dem der MonnatiionsgehaU eines Musteis in zwei 
Infonnationsbeieiche eingeteilt wild, von denen der erste Beieicli notwendige Infoimationen und der zweite Bereicii Itinreichende 
Informationen beinlialtet. Durcli den notwendigen InfonnationsberBicli wild eine noch unscliarfe und mehrere, aber eine stark begrenzte 
Anzahl von Klassen betteffende Vorauswalil getroffen. Nach der Vorauswahl eifolgt eine Identifilcation mit dem hinreiclienden 
Infoimationsbeieich, urn die noch unscliarfe Vorauswahl hinsichUich einer tatsacblidien Zielklasse zu konkietisieren. Damit wird 
erreicht, die GOte der Klassifikation weiter zu veibessem, sei es durch neue Klassifikatoren oder durch neue prinzipielle Ansatze des 
Klassiflkationsansatzes. 
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Sichere Identifikation mit Vorauswahl unci Rtickweisungskiasse 

Die Klassifikation von Datensatzen (2.B. Bilddaten, Sprachsignal) 1st Grundlage einer 
"intelligenten" Computerleistung. Die Anwendungsgebiete sind zahlreich, 2.B. 
industrielle Fertigung, blometrische Personenerkennung, medizinisctie 
Bildverarbeitung, etc. 

Der Stand der Technik umfaSt zahlreiche Klasslfikatoren, z.B. 

Statistische Klassifikatoren (Normalverteilungskiassifikatoren) 
Neuronals Netze 
Synergetische Algoritlimen 
NSclister-Naciibar-Kiassifikator 

Standardl'rteratur in der l\/lustererkennung ist Niemann, "Klassifikation von l\/lustern", 
Springer Verlag, 1983. 

Die Erfindung gelit von der Aufgabe aus, die GQte der Klassifikation waiter zu 
verbessern, sei es durcli neue Klassifikatoren oder durch neue prinzipielie AnsStze des 
Kiassifikationsansatzes. Gelost wird die Aufgabe mit Anspruch 1 oder 10. 

Eriauterungen sollen das Verstandnis der in den AnsprQclien gewalilten technischien 
Begriffe stUtzen. 

Identifikation (oder Klassifikation) von n Klassen: 

Nachdem aus einer vorgegebenen reprSsentativen Stichprobe In einem sog. 
EInlernprozefi n Klassen gebildet wurden, heiHt die Einordnung eines (noch) 
unbekannten Musters in eine bestimmte Klasse 'Identifikation'. Dabei kann 
durch EinfUtiren einer Ruckweisungsschwelle das Muster als unbekannt 
abgewiesen werden. Wenn es der Ruckweisungsklasse naiier ist, als den 
eingelernten oder bekannten Zielklassen der Identifikation, wird es dorthin 
klassifiziert. Ruckweisungsschwelle und -klasse konnen alternativ und 
kumulativ vorgesehen werden. Ein "zuriickgewiesenes Muster" (Objekt oder 
Person) liegt vor, wenn alle Jewells vorgesehenen "RQckweisungen" (Schwelle 
oder/und Klasse) angesprochen haben. Eine erfolgreiche 'Identifikation' setzt 
voraus, daQ> aus dem Testmuster hinreiohende Information fOr eine eindeutige 
. Zuordnung in eine der n Klassen des Einlemprozesses gewonnen werden 
kann. 
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Verifikation: 

Durch ein A-Priori-Wissen Qber die Soll-Klasse wird eine Identifikatioh mit n=1 
durchgefOhrt, d.h. es kann nach Art einer Binar-Entscheidung (nur) zu einer 
Akzeptanz oder ROckweisung des Testmusters kommen (Mustern im Test, 
kurz: "Testmuster"). 

FAR, FRR, GUtefunktion: 

Die FAR (false acception rate) gibt die Quote von falsch erkannten IVlustern 
wieder; die FRR (false rejection rate) die Quote von falsch zuruckgewiesenen 
Mustern. Eine GUtefunktion G=G(FAR,FRR) gibt die Gute eines 
Klassiflkationsverfahrens an, z.B. G=1-FAR-FRR, Je genauer die Klassifikation, 
desto nailer ist G an "Eins". Eine Gewichtung der FAR und FRR kann Einfluli 
nelimen, wenn der eine oder andere der Parameter FAR, FRR betont werden 
soli, beispieisweise durcii eine Mittelwertbildung mit Gewiclitungsfaktoren 
g^,g2, z. B. (g-i FAR+g2 FRR)/(g^+g2). In der praktisclien Anwendung wird 
etier FRR von gr5(Serer Bedeutung sein, so dad z. B. g2=2 und g^=1 gewShit 
werden kbnnen, um die Gute G "melibar" zu mactien und Identifikationen 
vergieiciien zu konnen. 

Das erfindungsgemalie Verfaliren dient der Eriiohung der KiassifikationsgQte. 

(a) In einem ersten Schritt erfolgt eine 'Identifikation' von n Klassen, die durch eine 
doppelte Ausnutzung der gegebenen Infomiationen besser geldst wird. Dazu 
wird der Informationsgehalt des Testmusters in einen notwendigen und einen 
hinreichenden Teil fUr die Zugehorigkeit zu einer Kiasse eingeteilt. Durcii den 
notwendigen Teil kann eine Vorauswahl (Vorklassiflzlerung) der in Betracht 
kommenden Klassen vorgenommen werden. Es wird inierbei keine eindeutige 
(vieimehr eine unscliarfe) Klassifikation geiiefert, jedoch die Zatii der 
tatsaclilich fQr das Muster in Frage kommenden Klassen stark eingeschrankt. 
Durch diesen Schritt kann die Identifikation "besser" (im Sinne der obigen 
GUtefunktion G) gelost werden. 

(b) In einem zweiten Schritt wird die KiassifikationsgQte durch eine (zus3tzliche) 
RUckweisungsklasse erhdht. Diese Kiasse dient zur UnterstUtzung der 
ROckweisung, d.h. zusatzlich zu RQckweisungen, die z.B. durch 
Schweilenentscheidungen gewonnen wurden, ist eine spezielle 
Ruckweisungskiasse 'gleichberechtigt' zu den Identifikationskiassen (die 
konkreten Zielklassen), in die klassifiziert werden kann. Mit der 
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RQckweisungsklasse wird ein A-Priori-Wlssen Qber die Objekte/Personen 
(allgemein: Muster), die abgewiesen warden sollen, dahingehend 
berUcksiclitigt, dal2> z.B. ein reprSsentativer Quersciinitt der abzuweisenden 
"l\/Iuster" in diese Rtickweisungskiasse eingelernt wird und dem Klassifikator 
damit bekannt 1st. 

Die Zusammensetzung der RQckweisungsklasse ist "erfolgsorientiert", d.h. das 
Kiassifikationsproblem muB durch die Nutzung der RQckweisungsklasse besser (im 
Sinne der Gutefunktion) gelost werden. Sind abzuweisende Muster z.B. bekannt, so 
konnen sie alle in die RQckweisungsklasse eingelernt werden. In der Regel ist aber nur 
ein bestimmter Tell davon fQr eine bessere RQckweisungsklasse notwendig, ein 
andererTeil kann z.B. aus einervollig problemfremden Datenbank stammen. 

Als Methode zur Auswahl der RQckweisungsmuster kommen Auswahlverfahren in 
Betracht, z.B. Erproben aller Mdglichkeiten und Venvendung derjenigen Datensatze 
(von Mustern), die zu dem besten Ergebnis futiren. 
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Die Erfindung(en) werden nachfolgend anhand mehrererAusfQhrungsbeispiele 
erlSutert und ergSnzt. 

Figur 1 ist ein graphisches Beispiel einer Kiassifikation mit einer 
RUckweisungsklasse. 

Ein konkreter Lern- und Klassifikationsvorgang erfolgt in folgenden Schritten: 

Bereitstellung der digitalen Datensatze eines Klassifikationsproblems. 

Bestimmung der Identlfikationskiassen K1, .... Kn durcfi eine reprasentative 
Stichprobe der jeweiligen Klasse (ubiiches Lernverfahren). 

FUr jede Teilmenge von {K1 Kn} wird eine RUckweisungsklasse bestimmt, 

die die Gesamtlieit ailer mogliclien Testmuster von dieser Teilmenge abgrenzt. 
Es k5nnen dazu z.B. die Datensatze der anderen Klassen und/oder potentielle 
RQckweisungskandidaten venvendet werden. 

Berechnung des notwendigen Informationsgehalts. Das konnen durchaus 
verschiedene l\/lerkmale sein, die allerdings - damit es sinnvoll ist - zu einer 
Einsclirankung in der Klassenauswahl 20 venwendet werden konnen. 

Durch BerQcksichtigung der notwendigen Bedingung wird die Identifikation von 
n Klassen auf eine Kiassifikation 30 geringeren Grades m (im besten Fall m=1) 
zurOckgefUhrt. 

Der zweite Schritt beinhaltet die Identifikation/Verifikation 40, die zusatzlicli mit 
der RQckweisungsklasse 10 durchgefuhrt wird. 

Erfolgt die Zuordnung in eine der m Klassen K1 ... Km, gilt das Objekt bzw. die 
Person als entsprechend erkannt, erfolgt die Zuordnung in die 
RUckweisungsklasse 1 0 bzw. ist eine Ruckwelsungssciiwelle tiberschritten, 
wird das Objekt bzw. die Person abgewiesen. 
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Ein sehr treffendes Beisplel des ersten Schrittes l&lit sich anhand des Unterschieds 
von Spracherkennung und Sprecher-Erkennung eriautern: 

Spracherkennung: 

Ein gesprochenes Wort wird - moglichst unabhangig von dem spezlfischen 
Sprecher - mit Methoden der Signalverarbeitung erkannt. 

Sprecher-Erkennung: 

Die Aufnahme eines Sprachsignais wird - moglichst unabhangig vom Inhalt - 
einem Sprecher zugeordnet. 

Das angestrebte Zlel soil eine zuverlSssige Sprecher-Erkennung sein, die z.B. zur 
Zutritts- Oder Zugangskontrolle dient. 

Im Beisplel 1 mQssen die Sprecher fQr die Identifikation ihren Nachnamen 
aussprechen. Eine notwendige Voraussetzung, dal^ z.B. Herr Maier als derjenige 
auch erkannt wird, liegt darin, daB der Name "Maier" ausgesprochen wurde. Durch 
eine Spracherkennung kommen nur die Klassen in Betracht, die phonetisch wie "Maier" 
klingen. In diesem Beispiel ist keine Reduzierung auf n=1 vorgesehen, da z.B. auch 
Frau Maier oder Hr. Meyer, die auch erkannt werden sollen, in die (klangliche) 
Unterauswahl "Maier" fallen und klassifikationsrechtlich verwechselbar sind. Erst die 
nachfolgende Sprecher-Erkennung ergibt ein eindeutige Zuordnung. Das Beispiel 1 
umschreibt also bel der Spracherkennung einen notwendigen Informationsbereich, um 
alle NIcht-'Maler", die nicht klanglich wie "Maier" klingen, vorab auszusondern. , 

Im Beispiel 2 mQssen die Sprecher fur die Identifikation ein personenspezifisches 
eindeutiges Codewort nennen, z.B. eine Zahlenfolge. Die vorgeschaltete 
Spracherkennung ergab eine Reduzierung des Identifikationsproblems auf n=1 , d.h. es 
ist jetzt nur noch notig, eine Verifikation durchzufuhren, basierend auf einem 
hinreichenden Informationsgehalt, bei zuvor schon ausgewertetem notwendigen 
Informationsgehalt. 

Obwohl im Stand der Technik Sprach- besser als Sprecher-Erkennungen gelost sind, 
stdKt eine reine Sprecher-Erkennung wegen beschrdnkter Rechenkapazit3t schnell an 
ihre Grenzen, da ein Lernmuster mit jeder Klasse vergllchen werden muR (Beisplel: 
Bankkunden). Sowohl die FAR als auch die FRR sinken aber bei kieinerer 
Kiassenanzahl. Z.B. wird bei einem System "Sesam" gemSB DE 44 13 788.5 (oder 
WO 95/25316) im reinen Identifikationsfall bei 66 Personen eine GQtefunktion 
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(GgQgam=''-FRR"*'FAR) von unter 80% im akustischen Bereich erzlelt, w§hrend eine 
Verifikation die Giitefunktion auf 97,2% erhoht. 

Ein Beispiel 3 soli mit Einbindung einer RQckweisungsklasse eriautert werden. Bel der 

biometrlschen Personenerkennung hat jede berechtlgte Person eine 
Identifikationsklasse. Die RQckweisungsklasse wird ilber eine Auswahl eines groBen 
Pools von Personendatensatzen gebildet. Neben den Identifikationsklassen stellt die 
RQckweisungsklasse den "Rest der Welt" dar, bildlich oft mit "im ubrigen" umschrieben. 
Dadurch werden in der Regel unberechtigte Personen, die falschlichenweise nicht 
abgewiesen wurden, in die RQckweisungsklasse eingeordnet und dadurch korrekt 
abgewiesen. 

Bei Z.B. 10 Aufnahmen (Muster) einer zu verifizierenden Person und einem Pool von 
200 Aufnahmen (Muster) von einer reprasentatlven Stichprobe der Bevolkerung 
werden die biometrischen Daten MImik, Gesichtsbild und Akustik als Merkmale 
herangezogen. Weiterhin steht eine Teststichprobe von 20 Aufnahmen der zu 
verifizierenden Person und 100 Aufnahmen von unbekannten Personen zur Verfugung. 
In die RQckweisungsklasse werden die Aufnahmen aus "dem Pool" eingelernt, die zu 
einem optimalen Ergebnis auf der Teststichprobe fuhren, d.h. die GQtefunktion G wird 
maximiert. Es ist klar, dalJ bei diesem Zahlenbeispiel schnelle Auswahlverfahren 
venwendet werden, da das Erproben 2200 Testlaufe erfordert. 

Nicht berechtlgte Personen konnten bislang nur Qber eine RUckweisungsschwelle 
abgewiesen werden; in Abh3nglgkeit dieser Schwelle ergibt slch aber eine hohe FAR 
Oder FRR und damit ein kleiner GUtewert G. 

Die Erfindung geht von der Vorgabe aus, die Gute einer Klassifikation in einer 
Identifikation welter zu verbessern, sei es durch neue Klassifikatoren oder durch neue 
prinzipielle Ansatze des Klassifikationsansatzes. Vorgeschlagen wird dazu ein 
Verfahren zum Klassifizieren mit zwei Verfahrensschritten, bei dem der 
Informationsgehalt eines Musters (Objekt oder Person) in zwei Informationsbereichen 
ausgewertet wird, von denen der erste Bereich notwendige Informationen, derzweite 
Bereich hinreichende informationen beinhaltet. Durch den notwendigen 
Informationsberelch wird eine noch unscharfe und mehrere, aber eine stark begrenzte 
Anzahl von Klassen betreffende Vorauswahl getroffen. Es erfolgt eine Identifikation mit 
dem hinreichenden Infomnationsbereich nach der Vorauswahl, urn die noch unscharfe 
Vorauswahl hinsichtllch einer tatsachlichen Zieiklasse zu konkretisieren. 
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AnsprOche: 

1. Verfahren zum Klassifizieren von Mustern (Objekte oder Personen), bei dem 
der informationsgehalt eines Musters in zwei Informationsbereiche eingeteilt 
wird, von denen dererste Bereich notwendige Informationen und derzweite 
Bereich hinreichende informationen beiniialtet, umfassend zwei 

Verfalirensschritte: 

(a) durch den notwendigen Informationsbereicli wird eine noch unscliarfe 
und mehrere, aber eine stark begrenzte Anzahl von Klassen betreifende 
Vorauswaiil getroffen; 

(b) nach der Vorauswaiii erfoigt eine identifikation mit dem iiinreiclienden 
Informationsbereicii, urn die nochi unsciiarfe Vorauswaiii liinsichtiich einer 
tats3chliclien Zielkiasse zu konkretisieren. 

2. Verfaiiren nacii Ansprucii 1, bei dem eine Ruckweisungsklasse (10) als 
megliciie Klasse zur Vorab-Zuordnung solclier Muster bereitstelit, die aufgrund 
von in der Ruckweisungsklasse eingelerntem A-Priori-Wissen mit zumindest 
guter Wahrsciieinliciikeit zurUckzuweisen sind. 

3. Verfaliren nach einem voriger AnsprQciie, bei dem das/ein A-Priori-Wissen in 
der/einer Ruckweisungsklasse (10) vor dem Beginn des zweiten 
Verfalirensschrittes eingelernt wird, orientiert an einem reprasentativen 
Querschnitt der nicht in die Klassen der positiv klassierenden Identifikation 
einzuordnenden Muster, insbesondere aufgrund von sicher abzuweisenden 
Mustern. 

4. Verfahren nach einem der vorigen AnsprOche, bei dem die 
Ruckweisungsklasse (10) jeweiis zu den anderen Klassen des jeweiligen 
Verfahrensschrittes, insbesondere den konkreten Zielklassen des zweiten 
Verfahrensschrittes, gleichberechtigt ist. 

5. Verfahren nach einem der obigen Anspruche, bei dem fUr jede Teilmenge der 
Klassen der Identifikation eine (individueile) Ruckweisungsklasse eriemt oder 
a-priori bestimmt wird. 

6. Verfahren nach Anspruch 5, bei dem jeweiis eine Teilmenge der unscharfe 

Bereich der Vorauswahl (20) ist, betreffend die starke Einschrankung der 
moglichen Klassen fur die (folgende) identifikation (40) in konkrete Zielklassen 
als Endklassifikation. 
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7. Verfahren nach einem obiger Anspriiche, bei dem mit der notwendigen 
Information das Klassifizierungsproblem auf ein (noch nStiges) 
Erkennungsproblem deutlich geringeren Grades reduziert wird. 

8. Verfahren nach Anspruch 7, bei dem die Identifilcation eine Verifilcation des 
unscharfen Vorauswahl-Bereichs ist, wobei (nur) der hinreichende 
Informationsgehalt (Informationsberelch) ausgewertet wird. 

9. Verfahren nach einem obiger Anspruche, be! dem eine erste Zahi von Mustern 
vorllegt, die in begrenztem Umfang in die RUclovelsungsklasse eingelemt 
werden, dal^ sich eine andere Musterzahl ergibt, urn ein optimiertes Ergebnis 
der von der ersten Musterzahl abweichenden !\/lusterzahl zu erhalten, wobei 
sich in der ersten und anderen Musterzahi auch eine geringe Anzahl von nicht 
der RUclcweisung zuzuordnenden l\/iustern befindet. 

10. Vorrichtung mit einem Rechenwerk und einer Eingabeeinheit und einer 
Ausgabeeinheit, bei der das Rechenweri< so programmiert ist, urn das 
Verfahren nach einem der obigen VerfahrensansprQche auszufiihren. 

1 1 . Vorrichtung nach Anspruch 1 0, bei der eine Informations- 
Splittingeinrichtung (50) vorgesehen ist, die eine Trennung notwendiger und 
hinreichender Information vornlmmt, um einen ersten Klassifikator (20) mit 
einem ersten Informationsbereich und einen Identifizierer (40) mit 
hinreichendem Infomiationsbereich zu versorgen, welche beiden Bereiche 
jeweils geringer sind, als die Gesamtinformation des gerade zu 
klassifizierenden Musters (60). 

12. Vorrichtung nach Anspruch 10, bei der neben der zumindest einen konkreten 
Zielklasse (40) eine Ruckweisungsklasse (10) als Speicherbereich definiert ist, 
die hierarchisch und funktionell den Zielklassen gleichwertig, aber vom Umfang 
her gr5&er ist, um alie nicht in die mindestens eine Zielklasse aufzunehmenden 
Muster (60) aufzunehmen. 
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